import Crawler from 'crawler'

//添加请求头方式1-可以在Crawler中整体添加
const c = new Crawler({
    rateLimit: 1000,
    headers:{'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36'},
    callback:function(err,res,done){
        if(err){
            console.log('出现异常',err);
        }else{
            const $ = res.$;
            console.log($('title').text());
            //输出携带的请求头
            console.log(res.options.headers);
        }

        done();
    }
});

//添加请求头方式2-可以在请求队列中，单独添加
c.add({
    url: 'https://www.baidu.com',
    headers: {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36'}
})

//虽然没有在请求任务中添加headers，但是在Crawler中整体已经添加了，所以也会有请求头
c.add({
    url: 'https://jd.com'
})